NGM: A Plug-and-Play Training-Free Memory Module for LLMs
NGM：即插即用、无需训练的LLM记忆模块
🧭 LLM记忆增强 · 训练无关即插即用
Nanjing University
提出训练无关的N-gram记忆模块，通过平均token嵌入构建表示并用余弦门控注入，显著提升代码和知识密集型任务性能。
📌 工作参考价值（4 点）
- 电商搜索/推荐中，商品标题、品牌、规格等高频短语可利用N-gram缓存跳过大量计算，直接注入LLM的表示层，提升推理速度与事实准确性。
- 在多轮对话Agent中，可将用户重复提到的实体或结构化信息（如订单号、地址）通过NGM快速恢复，减少遗忘和重复生成。
- 完全无训练，即插即用，无需修改骨干模型权重或增加可学习参数，适合快速A/B测试和已有模型的无损增强。
- 余弦相似度+ReLU的门控机制简单高效，可作为其他知识注入场景（如检索增强生成）中轻量级融合模块的设计参考。